Pada tahun 1895, Franz Ferdinand bertemu dengan Countess Sophie Chotek di sebuah majlis tari-menari yang diadakan di Prague. Sophie merupakan dang perwara kepada Archduchess Isabella, isteri Archduke Friedrich, Duke Teschen. Franz Ferdinand memulakan lawatan-lawatan ke vila Archduke Friedrich di Bratislava (dahulu Pressburg). Semasa Franz Ferdinand pergi ke pulau Losinj di Laut Adriatik untuk sembuh daripada batuk kering, Sophie berkirim-kiriman surat dengannya.

Untuk melayakkan diri sebagai pasangan perkahwinan kepada seorang ahli Kerabat Diraja Habsburg, seseorang itu harus merupakan salah satu ahli dinasti yang memerintah atau yang pernah memerintah di Eropah. Keluarga Chotek bukannya salah satu keluarga ini, walaupun mereka mempunyai nenek moyang sebelah ibu yang merupakan putera-putera Baden, Hohenzollern-Hechingen, dan Liechtenstein. Oleh itu, Franz Ferdinand dan Sophie merahsiakan hubungan mereka selama melebihi dua tahun.

Archduchess Isabella menganggap bahawa Franz Ferdinand tertawan dengan salah satu anak perempuannya. Bagaimanapun, pada tahun 1898, Franz Ferdinand tertinggal jam tangannya di gelanggang tenis di vila Isabella. Isabella membuka jam tangan itu, dan berharap akan melihat gambar salah satu anak perempuannya. Sebaliknya, dia menjumpai gambar foto Sophie. Sophie dipecat dengan serta merta daripada jawatannya.

Franz Ferdinand enggan mempertimbangkan perkahwinan dengan wanita lain. Paus Leo XIII, Tsar Nicholas II dari Rusia, dan Maharaja Wilhelm II dari Jerman, kesemuanya membuat perwakilan bagi pihak Franz Ferdinand kepada Maharaja Franz Joseph dari Austria, dan memperdebatkan bahawa percanggahan antara Franz Joseph and Franz Ferdinand telah menjejaskan kestabilan pemerintahan berajanya.

Akhirnya, pada tahun 1899, Maharaja Franz Joseph bersetuju untuk membenarkan Franz Ferdinand berkahwin dengan Sophie, dengan syarat bahawa perkahwinan mereka akan merupakan perkahwinan morganatik, iaitu keturunan-keturunan mereka tidak mempunyai hak pewarisan takhta. Sophie juga tidak akan berkongsi pangkat, gelaran, keutamaan, atau hak istimewa suaminya; oleh itu, Sophie biasa tidak muncul di sisi suaminya di khalayak ramai.

Upacara perkahwinan diadakan pada 1 Julai 1900 di Reichstadt (kini Zakupy, Bohemia). Maharaja Franz Joseph tidak menyertai upacara ini; serupa juga dengan archduke-archduke yang lain, termasuk adik-adik Franz Ferdinand. Ahli-ahli tunggal daripada kerabat diraja yang hadir ialah ibu tiri Franz Ferdinand, Maria Theresia, dengan kedua-dua anak perempuannya.

Dengan perkahwinan itu, Sophie diberikan gelaran Putera Hohenberg (Fürstin von Hohenberg) dengan panggilan Her Serene Highness (Ihre Durchlaucht). Pada tahun 1909, Sophie diberikan gelaran yang berpangkat lebih tinggi, iaitu Duchess Hohenberg (Herzogin von Hohenberg) dengan panggilan Her Highness (Ihre Hoheit). Gelaran ini amat menaikkan status Sophie, tetapi keutamaannya masih di belakang semua archduchess. Ketika sesuatu majlis memerlukan kehadiran pasangan Franz Ferdinand dan Sophie, bersama-sama dengan ahli-ahli kerabat diraja yang lain, Sophie terpaksa berdiri jauh daripada suaminya, mengikut susunan pangkat.

Anak-anak

Anak-anak Franz Ferdinand ialah:

• Puteri Sophie von Hohenberg (1901-1990): Berkahwin dengan Count Friedrich von Nostitz-Rieneck (1891-1973)
• Maximilian, Duke Hohenberg (1902-1962): Berkahwin dengan Countess Elisabeth von Waldburg zu Wolfegg und Waldsee (1904-1993)

• Putera Ernst von Hohenberg (1904-1954): Berkahwin dengan Marie-Therese Wood (1910-1985)
• Anak lelaki yang lahir mati (1908).

Pada masa pembunuhannya dalam tahun 1914, Sophie hamil dengan anak kelimanya.